Trong 10 năm kể từ lúc rời cung, Lý Bạch tha hồ uống rượu và đi chơi, ông từng qua Triệu, Nguỵ, Tề, Tần, Lương, Tống, các vùng Bân, Kỳ, Thương, Ư, Lạc Dương, các sông Hoài, sông Tứ... Do đi quá nhiều nên ông cũng quen biết và thân thiết với rất nhiều, trong đó có Đỗ Phủ, Sầm Tham, Mạnh Hạo Nhiên, Cao Thích...

Năm Thiên Bảo thứ 13 (755), ông quen với Nguỵ Hạo ở Quảng Lăng, hai người cùng xoã tóc đi thuyền vào sông Tần Hoài. Sau đó đến Tuyên Thành. Tháng 11 năm này có loạn An Lộc Sơn, Lý Bạch liền về Lư Sơn, ở ẩn tại Bình phong điệp. Năm ông 56 tuổi, Tiết độ sứ Vĩnh Vương Lân đến tận núi mời ông về phủ. Lý Bạch đành phải đi theo. Đến khi Lân làm phản bị bắt, Lý Bạch chạy trốn nhưng không thoát, lúc sắp bị tử hình có Tuyên Uý đại sứ Thôi Chi Hoán với ngự sử trung thừa Tống Nhược Tư đem giấu đi. Sang năm 757, ông bị triều đình bắt lại, lúc này người từng được Lý Bạch cứu khi xưa là Vương Chi Hoán ra sức giải oan, ông được giảm xuống tội đi đày.

Năm 758, trên đường đi đày ba vùng Dạ Lang, Động Đình, Tam Giáp, Lý Bạch được tha, liền đi xuống phía đông đến Hán Dương, tiếp tục cuộc ngao du đây đó, tuy nhiên tuổi già, sức yếu, ông đành đến Đang Đồ, ở nhờ anh họ là Lý Dương Băng. Đến năm 762, Đường Đại Tông lên ngôi, cho người mời Lý Bạch nhưng trên đường đi thì nghe tin ông đã qua đời rồi.